Entrenamiento Croslingüe para Búsqueda de Respuestas de Opción Múltiple

In this work we explore to what extent multilingual models can be trained for one language and applied to a different one for the task of Multiple Choice Question Answering. We employ the RACE dataset to fine-tune both a monolingual and a multilingual models and apply these models to another different collections in different languages. The results show that both monolingual and multilingual models can be zero-shot transferred to a different dataset in the same language maintaining its performance. Besides, the multilingual model still performs good when it is applied to a different target language. Additionally, we find that exams that are more difficult to humans are harder for machines too. Finally, we advance the state-of-the-art for the QA4MRE Entrance Exams dataset in several languages.En este trabajo exploramos en qué medida los modelos multilingües pueden ser entrenados para un solo idioma y aplicados a otro diferente para la tarea de respuesta a preguntas de opción múltiple. Empleamos el conjunto de datos RACE para ajustar tanto un modelo monolingüe como multilingüe y aplicamos estos modelos a otras colecciones en idiomas diferentes. Los resultados muestran que tanto los modelos monolingües como los multilingües pueden transferirse a un conjunto de datos diferente en el mismo idioma manteniendo su rendimiento. Además, el modelo multilingüe todavía funciona bien cuando se aplica a un idioma de destino diferente. Asimismo, hemos comprobado que los exámenes que son más difíciles para los humanos también son más difíciles para las máquinas. Finalmente, avanzamos el estado del arte para el conjunto de datos QA4MRE Entrance Exams en varios idiomas.This work has been funded by the Spanish Research Agency under CHIST-ERA LIHLITH project (PCIN-2017-085/AEI) and deepReading (RTI2018-096846-B-C21 /MCIU/AEI/FEDER,UE)

Evaluación del Enlazado de Entidades para Sistemas Pregunta-Respuesta sobre Grafos de Conocimiento

Entity Linking (EL) is the process of anchoring a part of a question to a node (entity) already known in a Knowledge Base (KB). Although EL has been widely studied with large documents such as webpages, there have not been studies about its impact on Question Answering (QA). In this paper, we study benchmarks for QA and how they are composed, providing insights about its suitability for a real evaluation about the state of the art in QA, specillay if we want to take into account the subtask of EL. We propose a semi-automatic method to generate an EL dataset linked to the QA task taking advantage of pre-existing QA datasets. We apply this method to benchmarking QA collections, analyze the results and release the created dataset to the research community, including a subset focused on complex EL in QA. We believe that EL e ectiveness in the context of QA can be better assessed through the use of the proposed dataset.El Enlazado de Entidades (EE) consiste en asociar partes de un texto con nodos de una Base de Conocimiento (BC). A pesar de que se ha prestado bastante atención a la tarea de EE en documentos, apenas hay estudios relativos a su impacto en el campo de la Búsqueda de Respuestas (BR). En este trabajo estudiamos la composición de varias colecciones de BR y realizamos varias observaciones relativas a su adecuación para evaluar sistemas BR, especialmente en lo relativo a realizar EE. También proponemos un método semiautomático para crear colecciones de EE en el contexto de BR reaprovechando colecciones existentes de BR. Posteriormente, aplicamos nuestro método a varias colecciones actuales de BR, analizamos los resultados obtenidos y ponemos a disposición de la comunidad científica la colección de EE generada, incluyendo un subconjunto que contiene los ejemplos donde es más difícil realizar EE. Consideramos que la disponibilidad de esta nueva colección permitirá una mejor evaluación de la tarea de EE en el contexto de la BR.This work has been partially funded by the Spanish Research Agency (Agencia Estatal de Investigación) LIHLITH project (PCIN-2017-085/AEI) in the framework of EU ERA-Net CHIST-ERA and RTI2018-096846-B-C21 (MCIU/AEI/FEDER,UE)

Desarrollo de Servicios Web para la gestión de objetos virtuales en entornos de e-learning

El proyecto ‘Desarrollo de Servicios Web para la gestión de objetos virtuales en entornos de e-learning’ se ha desarrollado en la asignatura de Sistemas Informáticos del curso 2004/2005. Tiene como objetivo el desarrollo de un Servicio Web que actúa como una interfaz programática sobre el Museo Virtual de Informática García Santesmases (MIGS) de la Facultad de Informática y el Museo Virtual CHASQUI de la Facultad de Geografía e Historia de la Universidad Complutense de Madrid. Para probar el funcionamiento se ha desarrollado una herramienta que permite gestionar varios museos virtuales. El sistema publica las funcionalidades de ambos museos como una serie de operaciones, haciendo que el acceso a estos dos museos confluya en un único Servicio Web. Por la modularidad del sistema implementado, se pueden realizar futuras ampliaciones. Además el Servicio Web facilita el uso de distintos mecanismos de acceso (como por ejemplo los basados en dispositivos móviles) y el uso de distintas herramientas de autoría, de tal modo que puedan conectarse simultáneamente a diferentes repositorios usando el interfaz basado en Servicios Web. [ABSTRACT] The project ‘Desarrollo de servicios web para la gestión de objetos virtuales en entornos de e-learning’ has been developed in the subject of Sistemas Informáticos during the course 2004/2005. The goal has been the construction of a Web Service that is used as a programmatic interface over the virtual museums MIGS and CHASQUI. To test how it works, we also have developed a web based tool to manage several virtual museums. The system makes to converge the access to both museums by publishing its functionality as a list of operations. Due to the modularity of the system, it is possible to work over future extensions. Furthermore, the Web Service makes easy the use of different mechanisms to access its functionality (for example, those based on mobile devices) and the use of different tools of edition, so it is possible the connection of several repositories simultaneously using interfaces based on Web Services

Comparing approaches for evaluating question answering validation

La Validación de Respuestas ha sido vista recientemente como un problema de clasificación donde se puede introducir aprendizaje automático con el propósito de mejorar los resultados de los sistemas de Búsqueda de Respuestas. La naturaleza no balanceada de las colecciones ha llevado al uso de medidas de evaluación basadas en precisión y cobertura. Sin embargo, para este tipo de evaluaciones se suele usar más análisis ROC (Relative Operating Characteristic). En este artículo se comparan ambos enfoques de acuerdo a sus fundamentos, su estabilidad en función del tamaño de las colecciones, su poder de discriminación y su adecuación a las particularidades de la Validación de Respuestas.The Validation of Answers has been seen recently as a classification problem able to introduce Machine Learning for improving Question Answering results. The unbalanced nature of collections has led to the use of measures based on precision and recall. However, Relative Operating Characteristic (ROC) analysis is preferred sometimes in similar classification tasks. In this article we compare both approaches according to their rationale, their stability with respect to the size of the collection, their discriminative power and their adequacy to the particularities of the Answer Validation task.Este trabajo ha sido subvencionado parcialmente por el proyecto QEAVis-Catiex (TIN2007-67581-C02-01) del Ministerio de Ciencia e Innovación, el proyecto europeo Trebe CLEF (ICT-1-4-1 215231), la Consejería de Educación de la Comunidad de Madrid y el Fondo Social Europeo (F.S.E.)

VaxxStance@IberLEF 2021: Descripción de la tarea de detección de actitudes basada en el uso de información más allá del texto

This paper describes the VaxxStance task at IberLEF 2021. The task proposes to detect stance in Tweets referring to vaccines, a relevant and controversial topic in the current pandemia. The task is proposed in a multilingual setting, providing data for Basque and Spanish languages. The objective is to explore crosslingual approaches which also complement textual information with contextual features obtained from the social network. The results demonstrate that contextual information is crucial to obtain competitive results, especially across languages.En este artículo se describe la tarea VaxxStance celebrada en el marco de IberLEF 2021. La tarea propone detectar la actitud de un conjunto de tweets relativos a las vacunas, a un tema muy actual y polémico en estos tiempos de pandemia. La tarea se ha propuesto en un marco multilingüe, euskera y español. Además del texto de cada tweet, se ha proporcionado además información relacionada con la red social de los usuarios autores de los tweets. Los resultados de los participantes han corroborado que el uso de información de la red social permite mejorar el rendimiento en esta tarea, particularmente en un entorno crosslingüe.This work has been partially supported by the European Social Fund through the Youth Employment Initiative (YEI 2019) and the Spanish Ministry of Science, Innovation and Universities (DeepReading RTI2018-096846-B-C21, MCIU/AEI/FEDER, UE), and by the DeepText project (KK-2020/00088), funded by the Basque Government. Rodrigo Agerri is also funded by the RYC-2017-23647 fellowship

QEAVis: Evaluación Cuantitativa de la Visibilidad de los Sitios Web Académicos

El proyecto plantea la aplicación de las TLH a un problema importante como es medir la visibilidad académica en la web, sentando las bases de una evaluación cuantitativa del compromiso de los departamentos universitarios con la accesibilidad pública de su información. Para ello es necesario desarrollar indicadores web (Cibermetría) y estudiar la visibilidad de los sitios web académicos, haciendo especial énfasis en la presencia del español (de importancia estratégica) y en el ámbito de las disciplinas relacionadas con humanidades (que requiere una ayuda especial respecto a su posicionamiento en web).The project proposes the application of HLT to an important problem such as the measurement of the academic visibility in the web, giving the basis of a quantitative evaluation of the universities departments’ commitment in the public access to their information. Web indicators (Cybermetrics) must be developed and applied to the study of the academic websites visibility, with special focus on the presence of the Spanish language (of strategic importance) and the academic areas related to humanities (which need special help for their web positioning).Financiado por el Ministerio de Ciencia e Innovación TIN2007-67581

Geoeconomic variations in epidemiology, ventilation management, and outcomes in invasively ventilated intensive care unit patients without acute respiratory distress syndrome: a pooled analysis of four observational studies

Background: Geoeconomic variations in epidemiology, the practice of ventilation, and outcome in invasively ventilated intensive care unit (ICU) patients without acute respiratory distress syndrome (ARDS) remain unexplored. In this analysis we aim to address these gaps using individual patient data of four large observational studies. Methods: In this pooled analysis we harmonised individual patient data from the ERICC, LUNG SAFE, PRoVENT, and PRoVENT-iMiC prospective observational studies, which were conducted from June, 2011, to December, 2018, in 534 ICUs in 54 countries. We used the 2016 World Bank classification to define two geoeconomic regions: middle-income countries (MICs) and high-income countries (HICs). ARDS was defined according to the Berlin criteria. Descriptive statistics were used to compare patients in MICs versus HICs. The primary outcome was the use of low tidal volume ventilation (LTVV) for the first 3 days of mechanical ventilation. Secondary outcomes were key ventilation parameters (tidal volume size, positive end-expiratory pressure, fraction of inspired oxygen, peak pressure, plateau pressure, driving pressure, and respiratory rate), patient characteristics, the risk for and actual development of acute respiratory distress syndrome after the first day of ventilation, duration of ventilation, ICU length of stay, and ICU mortality. Findings: Of the 7608 patients included in the original studies, this analysis included 3852 patients without ARDS, of whom 2345 were from MICs and 1507 were from HICs. Patients in MICs were younger, shorter and with a slightly lower body-mass index, more often had diabetes and active cancer, but less often chronic obstructive pulmonary disease and heart failure than patients from HICs. Sequential organ failure assessment scores were similar in MICs and HICs. Use of LTVV in MICs and HICs was comparable (42·4% vs 44·2%; absolute difference -1·69 [-9·58 to 6·11] p=0·67; data available in 3174 [82%] of 3852 patients). The median applied positive end expiratory pressure was lower in MICs than in HICs (5 [IQR 5-8] vs 6 [5-8] cm H2O; p=0·0011). ICU mortality was higher in MICs than in HICs (30·5% vs 19·9%; p=0·0004; adjusted effect 16·41% [95% CI 9·52-23·52]; p<0·0001) and was inversely associated with gross domestic product (adjusted odds ratio for a US$10 000 increase per capita 0·80 [95% CI 0·75-0·86]; p<0·0001). Interpretation: Despite similar disease severity and ventilation management, ICU mortality in patients without ARDS is higher in MICs than in HICs, with a strong association with country-level economic status